Khi Madison rời chức tổng thống năm 1817 ở tuổi 65, ông về nghỉ hưu ở đồn điền Montpelier, vựa thuốc lá của ông ở Orange County, Virginia, cách không xa với đồn điền Monticello của Jefferson. Dolley, lúc này 49 tuổi, nghĩ rằng cuối cùng họ sẽ có cơ hội để du lịch Paris. Nhưng như Washington và Jefferson, Madison rời chức tổng thống trong cảnh nghèo khổ hơn so với lúc được bầu. Nông trại của ông đã trải qua sự sụp đổ tài chính ổn định do thuốc lá liên tục giảm giá và cũng do con trai riêng của vợ ông quản lý yếu kém.

Insight vào Madison được cung cấp bởi cuốn hồi ký đầu tiên, Hồi ký tưởng niệm James Madison của một người da màu (1865) mà tác giả là Paul Jennings, nô lệ trước đây của ông, từng hầu hạ tổng thống từ năm 10 tuổi đã và làm suốt phần đời còn lại của Madison. Sau khi Madison mất, Dolley Madison bán Jennings vào năm 1845 cho thượng nghị sĩ Daniel Webster, người đã cho Jennings làm việc để trả lại số tiền Webster đã bỏ ra mua anh, đổi lại anh sẽ được tự do. Jennings công bố hồi ký ngắn của mình vào năm 1865.[111] Trong hồi ký, anh dành sự tôn trọng lớn nhất cho Madison và nói rằng cựu tổng thống không bao giờ đánh nô lệ, và cũng không cho phép thợ giám sát nô lệ nào làm vậy. Jennings kể rằng nếu một nô lệ cư xử không tốt, Madison sẽ gặp riêng người đó và trao đổi về hành vi ấy.;[111]

Một số sử gia cho rằng nợ nần là một trong những lý do Madison từ chối cho phép việc các ghi chép của mình về Hội nghị Lập Hiến, hoặc hồ sơ chính thức của ông được công bố khi ông còn sống. "Ông ấy biết các ghi chép của mình có giá trị, và vì các vựa trồng của ông đều thua lỗ nên ông muốn các ghi chép ấy mang lại số tiền cho các bất động sản của mình, và để Dolley sống bằng số tiền ấy. Ông hy vọng các giấy tờ bán được hơn một trăm ngàn đô, trong số đó có những ghi chú rất quý giá."[112] Gánh nặng tài chính đã làm sức khỏe tinh thần và thể chất của Madison ngày càng xấu.

Vào những năm sau này, Madison rất quan tâm di sản lịch sử của mình. Ông chỉnh sửa thư từ và các tài liệu khác thuộc sở hữu của mình, thêm và xóa các câu chữ, thay đổi ngày tháng và các nhân vật trong các lá thư. Khi gần tám muơi tuổi, điều này nói "thẳng ra" gần như là nỗi ám ảnh của ông. Ví dụ, ông chỉnh sửa một lá thư gửi Jefferson với nội dung chỉ trích Lafayette. Madison không chỉ ký ra đoạn ban đầu, thậm chí giả tốt chữ viết tay của Jefferson.[113] Sử gia Drew R. McCoy nói: "Trong sáu năm cuối đời, giữa một biển rắc rối [tài chính] cá nhân đã đe dọa nhấn chìm ông... Những lúc kích động về tinh thần đã làm suy sụp thể chất của ông. Những khi đỡ hơn vào năm 1831 và 1832, ông đã nằm liệt giường, nếu không nói là bất động... Chắc chắn đã ốm vì lo lắng, ông bắt đầu tuyệt vọng về khả năng làm những người đồng chí hiểu mình." [114]

Năm 1826, sau khi Jefferson mất, Madison được Đại Học Virginia bổ nhiệm làm hiệu trưởng ("Chủ tịch") thứ hai. Ông giữ cương vị này khoảng mười năm đến khi qua đời vào năm 1836.

Vào năm 1829, ở tuổi 78, Madison được chọn làm đại diện bang Virginia tham dự Hội nghị Lập Hiến Virginia. Đó là lần xuất hiện cuối cùng của ông với vai trò chính khách. Các vấn đề quan trọng lớn nhất tại hội nghị này đã được phân bổ. Các huyện miền Tây Virginia than phiền việc thiếu đại diện vì hiến pháp nhà nước phân bổ các huyện có quyền biểu quyết của quận. Dân số tăng ở Piedmont và phần phía tây của bang không cân xứng đại diện bởi các đại biểu trong cơ quan lập pháp. Cải cách phía Tây cũng muốn mở rộng quyền bầu cử cho tất cả những người đàn ông da trắng, ở vị trí của yêu cầu quyền sở hữu tài sản hiện hành. Madison đã cố gắng trong vô vọng để thực hiện một sự thỏa hiệp. Cuối cùng, các quyền phổ thông đầu phiếu được mở rộng để người thuê nhà cũng như chủ đất, nhưng người trồng đông từ chối áp dụng công dân phân bổ dân số. Họ nói thêm nô lệ tổ chức như là tài sản để tính dân số, để duy trì đa số thường trú ở cả hai viện của cơ quan lập pháp, lập luận rằng phải có một sự cân bằng giữa dân số và tài sản đại diện. Madison đã thất vọng về thất bại của Virginia trong việc giải quyết vấn đề công bằng hơn. [115]

Madison cũng quan tâm việc tiếp tục chế độ nô lệ ở Virginia nói riêng và miền Nam nói chung. Ông tin rằng việc di dời người Mỹ da đen tự do về châu Phi là một giải pháp, và việc này được thúc đẩy bởi Hiệp Hội Thực Dân Mỹ (ACS).[116] Tại thời điểm quy ước, ông nói với Lafayette rằng thực dân sẽ tạo ra một "tẩy xoá nhanh chóng của các blot trên nhân vật đảng Cộng Hòa của chúng tôi."[117] Harriet Martineau, một nhà xã hội học người Anh đã viếng thăm Madison trong chuyến du lịch đến các nước ở châu Mỹ vào năm 1834. Cô đặc trưng của mình niềm tin vào các giải pháp thực dân nô lệ là "kỳ lạ và phi lý." [117] Madison có thể đã bán hoặc tặng cối xay lúa mì của mình trong việc hỗ trợ ACS.[116] Sử gia McCoy tin rằng "Công ước của năm 1829... đẩy Madison dần đến bờ vực ảo tưởng, nếu không nói là tuyệt vọng. Các vấn đề của chế độ nô lệ đã phá hoại nó." [117] [118] Giống hầu hết người Mỹ gốc Phi thời ấy, nô lệ của Madison muốn ở lại Mỹ, nơi họ được sinh ra, tin rằng công việc của họ kiếm được họ công dân, và họ chống việc "hồi hương". [116]

William R. Denslow cho là tìm được bằng chứng chứng minh James Madison có thể là một Mason[119] khi vào năm 1795, John Francis Mercer được cho đã viết cho Madison "Tôi đã không có cơ hội chúc mừng anh trước khi về của anh trở thành một Mason tự do -a rất cổ xưa & vinh tình huynh đệ. "[120] Tuy nhiên, trong bức thư gửi Stephen Bates năm 1832, Madison viết rằng ông không bao giờ là một Mason, và là "người xa lạ với các nguyên tắc" của hội này.[121]